加速数据分析：使用 RAPID cuDF 进行更快的时间序列分析

这篇文章是 加速数据分析系列文章的一部分:

由于标准探索性数据分析（ EDA ）工作流程通常局限于单个核心，因此它得益于 RAPIDS cuDF 的加速计算，这是一个具有 pandas 类接口的加速数据分析库。众所周知，时间序列数据需要额外的数据处理，这会增加工作流程的时间和复杂性，使其成为利用 RAPIDS 的另一个很好的用例。

使用 RAPIDS cuDF ，您可以加快对不太大也不太小的“金发姑娘”数据集的时间序列处理。这些数据集在 pandas 上很繁重，但不需要像 Apache Spark 或 Dask 这样的完全分布式计算工具。

本节介绍了依赖时间序列数据的 机器学习 （ ML ）用例，以及何时考虑加速数据处理。

时间序列数据无处不在。时间戳在许多类型的数据源中都是一个变量，从天气测量和资产定价到产品购买信息等等。

时间戳具有所有级别的粒度，例如毫秒读数或月读数。当时间戳数据最终被用于复杂建模时，它就变成了时间序列数据，对其他变量进行索引，使模式变得可观察。

以下流行的 ML 用例在很大程度上依赖于时间序列数据，还有更多的依赖：

复杂的建模用例通常需要处理具有高分辨率历史数据的大型数据集，这些数据可能跨越数年至数十年，还需要处理实时流数据。时间序列数据需要经过转换，例如向上和向下重新采样数据，以使数据集之间的时间段一致，并被平滑到滚动窗口中，以消除模式噪声。

pandas 提供了简单、富有表现力的功能来管理这些操作，但您可能在自己的工作中观察到，单线程设计很快就会被所需的处理量所淹没。这尤其适用于需要快速数据处理周转的大型数据集或用例，而时间序列分析用例通常会这样做。 pandas 处理数据的后续等待时间可能会令人沮丧，并可能导致见解延迟。

因此，这些场景使 cuDF 非常适合时间序列数据分析。使用类似 pandas 的 API ，您可以以高达 40 倍的速度处理数十 GB 的数据，从而节省任何数据项目中最有价值的资产：您的时间。

为了展示 RAPIDS cuDF 加速探索数据的好处，以及它是如何被轻易采用的，本文介绍了 Time Series Data Analysis 中的一个子集时间序列处理操作。这是一个强大的笔记本分析，对 RAPIDS GitHub 存储库中公开的真实天气读数数据集进行了分析。

在完整的分析中， RAPIDS cuDF 以 13 倍的加速执行（有关确切数字，请参阅本文后面的基准测试部分）。加速通常会随着整个工作流程变得更加复杂而增加。

从现实世界中推断，这种收益具有真正的影响。当一个小时的工作量可以在 5 分钟内完成时，你就可以有意义地为一天增加时间。

Meteonet 是一个现实的天气数据集，它汇集了 2016-2018 年巴黎各地气象站的读数，包括缺失和无效的数据。它的大小约为 12.5 GB 。

对于这篇文章，假设你是一名数据科学家，第一次收到这些汇总数据，必须为气象用例做好准备。具体的用例是开放式的：它可以是气候模型中的预测、报告或输入。

当你回顾这篇文章时，大多数功能应该都很熟悉，因为它们的设计类似于 pandas 中的操作。此分析旨在执行以下任务：

这篇文章忽略了笔记本 Time Series Data Analysis Using cuDF . 中演示的端到端工作流程中解决的几个数据不一致

首先，使用以下命令导入此分析中使用的包：

接下来，读取 CSV 数据。

首先关注感兴趣的气象参数：风速、温度和湿度。

隔离感兴趣的参数后，执行一系列快速检查。通过将日期列转换为日期时间数据类型来启动第一次转换。然后，打印出前五行，以可视化您正在处理的内容，并评估表格数据集的大小。

DataFrame 形状（ 127515796 ， 8 ）显示 12751579 六行乘八列。现在已经知道了数据集的大小和形状，您可以开始更深入地研究数据采样的频率。

数据集涵盖了从2016-01-01T00:00:00.000000000到2018-12-31T23:54:00.000000000的传感器读数，采样间隔为 6 分钟。确认数据集中表示了预期的日期和时间。

在完成对数据集的基本审查后，开始使用特定于时间序列的格式。首先将时间增量分隔成单独的列。

现在，数据在年末被分为年、月和日的列。这使得以不同的增量对数据进行切片要简单得多。

通过选择要分析的特定时间范围和电台，对更新后的 DataFrame 进行实验。